生成式人工智能安全
領(lǐng)域大語言模型的內(nèi)容安全控制研究
Research on content safety control of domainspecific large language models
張欣欣1,李濤1,趙龍彪1,賈真真2,周衡廣3
doi: 10.19358/j.issn.2097-1788.2025.11.001
摘要
HTML
PDF(1597KB)
隨著大語言模型在非通用領(lǐng)域中的廣泛應(yīng)用,其在知識(shí)管理、決策支持和安全信息交流等方面展現(xiàn)出巨大潛力。然而,這些領(lǐng)域具有高度的專業(yè)性和敏感性,在特定場(chǎng)景下確保輸出內(nèi)容的安全性與合規(guī)性是主要挑戰(zhàn)。現(xiàn)有方法主要依賴模型的重新訓(xùn)練或微調(diào),成本高且靈活性不足。提出了一種無需重新訓(xùn)練模型的精細(xì)化輸出控制方法,將輸出控制抽象為分類問題,利用分類算法對(duì)生成內(nèi)容進(jìn)行判斷,決定是否輸出。該機(jī)制結(jié)合數(shù)學(xué)建模與特征工程,力求在滿足業(yè)務(wù)需求的同時(shí),最大限度地減少潛在風(fēng)險(xiǎn),提升輸出的安全性與合規(guī)性。
基于同態(tài)加密的AI模型參數(shù)安全計(jì)算與防泄露方法
Secure computation and anti-leakage methods for AI model parameters based on homomorphic encryption
張恒,廖尚斌,張陳穎
doi: 10.19358/j.issn.2097-1788.2025.11.002
摘要
HTML
PDF(952KB)
隨著人工智能在醫(yī)療、金融等敏感領(lǐng)域的廣泛應(yīng)用,模型參數(shù)與訓(xùn)練數(shù)據(jù)的隱私保護(hù)成為關(guān)鍵問題。提出一種基于同態(tài)加密(HE)的AI模型參數(shù)安全計(jì)算與防泄露方法,采用CKKS方案在密文空間中實(shí)現(xiàn)參數(shù)加密、前向推理與梯度更新,避免了訓(xùn)練過程中明文暴露的風(fēng)險(xiǎn)。結(jié)果表明,HESGD在MNIST上最高準(zhǔn)確率達(dá)99.1%;在計(jì)算開銷上,實(shí)現(xiàn)了效率與安全性的平衡,信息泄露風(fēng)險(xiǎn)指數(shù)接近0.0。研究表明,該方法在保持模型精度的同時(shí),實(shí)現(xiàn)了高效安全計(jì)算與近乎零泄露風(fēng)險(xiǎn),具有較強(qiáng)的應(yīng)用價(jià)值。
英文語言大模型特定文化改造方法研究
Methodology of adapting large English language models for specific cultural contexts
張文靜1,2,肖思琪1,2,雷雪嬌1,2,王寧1,2,張華正1,2,安美娟1,2,楊必琨1,2, 劉兆祥1,2,王愷1,2,廉士國(guó)1,2
doi: 10.19358/j.issn.2097-1788.2025.11.003
摘要
HTML
PDF(1003KB)
大語言模型的迅猛發(fā)展已成為人工智能領(lǐng)域的顯著趨勢(shì)。然而,目前領(lǐng)先的大語言模型多基于英文,直接將其應(yīng)用于特定文化領(lǐng)域下的任務(wù)時(shí)存在局限,如特定領(lǐng)域知識(shí)不足和文化價(jià)值觀差異導(dǎo)致的誤解。為應(yīng)對(duì)這一挑戰(zhàn),提出了一種針對(duì)特定文化背景下大模型的快速改造方法,該方法基于特定文化知識(shí)能力和安全價(jià)值觀數(shù)據(jù)進(jìn)行指令微調(diào)。以中文為特定文化背景,選用LLaMA38B英文大模型作為實(shí)驗(yàn)對(duì)象,評(píng)估結(jié)果顯示,改造后的大模型在保持原有領(lǐng)域知識(shí)優(yōu)勢(shì)的同時(shí),顯著增強(qiáng)了在特定領(lǐng)域下的知識(shí)能力和安全價(jià)值觀適應(yīng)能力。
一種針對(duì)垂類模型的綜合成效評(píng)測(cè)框架
A comprehensive effectiveness evaluation framework for domain-specific models
宋元1,張衎1,2,任熠輝1,黃曉鵬1
doi: 10.19358/j.issn.2097-1788.2025.11.004
摘要
HTML
PDF(1471KB)
針對(duì)垂類模型在評(píng)測(cè)實(shí)踐中存在的評(píng)價(jià)維度單一、缺乏領(lǐng)域適配性以及方法碎片化等問題,提出了一套綜合成效評(píng)測(cè)框架。該研究旨在通過標(biāo)準(zhǔn)化方案解決技術(shù)研發(fā)與產(chǎn)業(yè)應(yīng)用之間的“評(píng)價(jià)斷層”,為垂類模型的開發(fā)、部署和監(jiān)管提供科學(xué)依據(jù)。研究方法包括構(gòu)建以安全合規(guī)、技術(shù)性能和應(yīng)用價(jià)值為核心的多維指標(biāo)體系,并配套設(shè)計(jì)評(píng)測(cè)數(shù)據(jù)集構(gòu)建策略與混合評(píng)測(cè)方法,后者融合了自動(dòng)化測(cè)試、人工評(píng)估和大模型作為裁判的評(píng)估手段。研究結(jié)果形成了一套結(jié)構(gòu)化的評(píng)測(cè)體系,涵蓋評(píng)價(jià)對(duì)象分類、指標(biāo)定義和方法實(shí)施,能夠?qū)崿F(xiàn)對(duì)不同類型垂類模型的全面、可比較評(píng)估。結(jié)論表明,該框架有助于提升評(píng)測(cè)的客觀性和可操作性,推動(dòng)垂類模型在關(guān)鍵領(lǐng)域的可信賴應(yīng)用,未來需通過實(shí)踐驗(yàn)證和動(dòng)態(tài)優(yōu)化以適應(yīng)技術(shù)發(fā)展。
AI大語言模型的數(shù)據(jù)安全風(fēng)險(xiǎn)與治理措施
Data security risks and governance measures for AI large language models
林杰,王家盛
doi: 10.19358/j.issn.2097-1788.2025.11.005
摘要
HTML
PDF(1371KB)
隨著AI大語言模型的迅猛發(fā)展,其在為各領(lǐng)域帶來創(chuàng)新機(jī)遇的同時(shí),也引發(fā)了諸多數(shù)據(jù)安全風(fēng)險(xiǎn)。深入剖析AI大語言模型所面臨的數(shù)據(jù)安全風(fēng)險(xiǎn),包括數(shù)據(jù)泄露、數(shù)據(jù)濫用、數(shù)據(jù)偏見等方面,并針對(duì)性地提出一系列治理措施,旨在為構(gòu)建安全可靠的AI大語言模型應(yīng)用環(huán)境提供全面的理論依據(jù)與實(shí)踐指導(dǎo),促進(jìn)該技術(shù)在合法合規(guī)且安全的軌道上持續(xù)發(fā)展。
智能算法
基于改進(jìn)U-Net的多尺度層級(jí)融合去霧網(wǎng)絡(luò)
Multi-scale hierarchical fusion dehazing network based on enhanced U-Net
季云云1,熊亮2
doi: 10.19358/j.issn.2097-1788.2025.11.006
摘要
HTML
PDF(10484KB)
計(jì)算機(jī)視覺任務(wù)中,霧霾的存在會(huì)導(dǎo)致圖像出現(xiàn)質(zhì)量下降問題,現(xiàn)有的去霧方法因全局與局部特征協(xié)同建模不足及多尺度霧濃度自適應(yīng)處理欠缺,常出現(xiàn)去霧殘留和色彩失真。基于改進(jìn)UNet的多尺度層級(jí)融合去霧網(wǎng)絡(luò)以多尺度輸入捕獲層級(jí)特征,結(jié)合分層次特征融合優(yōu)化信息傳遞。相鄰層嵌入特征增強(qiáng)塊自適應(yīng)聚焦關(guān)鍵區(qū)域,跨層交叉融合實(shí)現(xiàn)多尺度互補(bǔ),促使網(wǎng)絡(luò)內(nèi)部信息充分流動(dòng)。實(shí)驗(yàn)表明,該方法在合成與真實(shí)數(shù)據(jù)集上均優(yōu)于對(duì)比方法,尤其在細(xì)節(jié)恢復(fù)、色彩保真和真實(shí)場(chǎng)景泛化性方面表現(xiàn)突出。
大數(shù)據(jù)與數(shù)據(jù)技術(shù)
基于大模型上下文學(xué)習(xí)的未知意圖識(shí)別方法
Intent recognition method based on incontext learning of large language models
孫顥原1,劉瑩君2,于莉娜2,紀(jì)濤2,張圳錫1,吳繼冰1
doi: 10.19358/j.issn.2097-1788.2025.11.007
摘要
HTML
PDF(1344KB)
面對(duì)現(xiàn)代化戰(zhàn)爭(zhēng)的復(fù)雜態(tài)勢(shì),精準(zhǔn)的意圖識(shí)別技術(shù)可實(shí)現(xiàn)對(duì)指揮人員需求的高效理解與精準(zhǔn)捕捉,提升決策準(zhǔn)確率和敏捷性。現(xiàn)有意圖識(shí)別方法通常需要大量人工標(biāo)注的數(shù)據(jù)進(jìn)行訓(xùn)練,帶來了高昂的成本,并且對(duì)于新意圖的識(shí)別效果較差。為此,提出了基于大語言模型(Large Language Models,LLMs)上下文學(xué)習(xí)的創(chuàng)新解決辦法,充分利用大模型的通用語言能力和指令遵循能力,僅需使用少量樣本并無需訓(xùn)練,便可完成已知意圖識(shí)別與新意圖發(fā)現(xiàn)任務(wù),為意圖識(shí)別提供了一種新型高效的解決方案。
基于保形加密的民航旅客信息脫敏方法
Civil aviation passenger data encryption method based on format-preserving encryption
杜宇浩,王保國(guó),譚玲,胡楠
doi: 10.19358/j.issn.2097-1788.2025.11.008
摘要
HTML
PDF(1409KB)
針對(duì)民航旅客數(shù)據(jù)量大、涉及個(gè)人敏感信息多、在特殊情況下需要用到原值的問題,研究了一種基于保形加密的民航旅客信息脫敏方法。首先,按照應(yīng)用場(chǎng)景和敏感程度的不同,結(jié)合數(shù)據(jù)特點(diǎn),篩選出合理字段并據(jù)此確定調(diào)整因子的值,然后利用保形加密框架加密敏感信息,從而避免脫敏結(jié)果單一。該方法在保證數(shù)據(jù)不失真的前提下,能有效減少各字段之間的關(guān)聯(lián)性,增加密文破解難度,降低個(gè)人信息泄露風(fēng)險(xiǎn);同時(shí),在需要獲取原值時(shí)可以高效還原數(shù)據(jù),以滿足各類業(yè)務(wù)場(chǎng)景需求。以民航電子客票數(shù)據(jù)為例,模擬相應(yīng)數(shù)據(jù)進(jìn)行實(shí)驗(yàn),結(jié)果驗(yàn)證了所提算法的有效性和實(shí)用性。
面向國(guó)產(chǎn)數(shù)據(jù)庫(kù)的Text-to-SQL數(shù)據(jù)集設(shè)計(jì)
The design of Text-to-SQL datasets for domestic databases
李國(guó)深1,劉瑩君2,于莉娜2,紀(jì)濤2,張航1,吳繼冰1
doi: 10.19358/j.issn.2097-1788.2025.11.009
摘要
HTML
PDF(2059KB)
隨著智能技術(shù)的發(fā)展,數(shù)據(jù)庫(kù)數(shù)量和規(guī)模激增,傳統(tǒng)數(shù)據(jù)存取技術(shù)在應(yīng)對(duì)海量數(shù)據(jù)處理需求時(shí)存在耗時(shí)長(zhǎng)、效率低等問題,Text-to-SQL技術(shù)成為銜接用戶需求和數(shù)據(jù)庫(kù)存取的重要橋梁。然而,現(xiàn)有技術(shù)通常在開源非國(guó)產(chǎn)數(shù)據(jù)集上訓(xùn)練,在實(shí)際應(yīng)用中存在數(shù)據(jù)庫(kù)操作語言不一致、領(lǐng)域知識(shí)欠缺和可靠性差等問題。為此,結(jié)合數(shù)據(jù)庫(kù)領(lǐng)域軟硬件國(guó)產(chǎn)化趨勢(shì),設(shè)計(jì)面向國(guó)產(chǎn)數(shù)據(jù)庫(kù)的Text-to-SQL數(shù)據(jù)集,采用基于合成數(shù)據(jù)方法的大語言模型兩階段訓(xùn)練技術(shù),提出一種基于大語言模型的國(guó)產(chǎn)數(shù)據(jù)庫(kù)Text-to-SQL方法,通過實(shí)驗(yàn)對(duì)方法的有效性進(jìn)行了充分驗(yàn)證。
數(shù)據(jù)治理
檢驗(yàn)檢測(cè)機(jī)構(gòu)認(rèn)可業(yè)務(wù)數(shù)據(jù)分類分級(jí)研究
Study on the classification and grading of accreditation service data in inspection and testing body
金達(dá)1,霍珊珊1,張冰2,李彥軍2,劉健1,郝奇2
doi: 10.19358/j.issn.2097-1788.2025.11.010
摘要
HTML
PDF(1077KB)
隨著認(rèn)可業(yè)務(wù)數(shù)字化、智能化進(jìn)程不斷推進(jìn),認(rèn)可業(yè)務(wù)數(shù)據(jù)的重要性不斷增強(qiáng),數(shù)據(jù)分類分級(jí)安全保護(hù)需求日益緊迫。首先研究國(guó)外數(shù)據(jù)分類分級(jí)現(xiàn)狀和分析我國(guó)數(shù)據(jù)分類分級(jí)戰(zhàn)略規(guī)劃,接著分析數(shù)據(jù)分類分級(jí)方法,然后在分析檢驗(yàn)檢測(cè)機(jī)構(gòu)認(rèn)可業(yè)務(wù)數(shù)據(jù)特點(diǎn)基礎(chǔ)上,提出檢驗(yàn)檢測(cè)機(jī)構(gòu)認(rèn)可業(yè)務(wù)數(shù)據(jù)分類分級(jí)流程和規(guī)則,以及數(shù)據(jù)分級(jí)安全保護(hù)措施,為實(shí)現(xiàn)認(rèn)可業(yè)務(wù)數(shù)據(jù)分類分級(jí)安全保護(hù)提供支撐。
權(quán)屬視域下數(shù)據(jù)安全治理“效率-公平”的平衡逆轉(zhuǎn)機(jī)制研究
Research on the balanced reversal mechanism of efficiency fairness in data security governance from the perspective of ownership
武萬里,王龍
doi: 10.19358/j.issn.2097-1788.2025.11.011
摘要
HTML
PDF(1388KB)
探討了數(shù)據(jù)安全治理中“效率-公平”平衡機(jī)制的動(dòng)態(tài)演變,聚焦數(shù)據(jù)權(quán)屬視角下多主體協(xié)同治理的安全風(fēng)險(xiǎn)與制度梗阻問題及其逆轉(zhuǎn)路徑的探索。通過闡釋數(shù)據(jù)治理中“效率-公平”平衡機(jī)制的具體含義,以權(quán)屬視域從市場(chǎng)、政府以及個(gè)人三個(gè)主要的不同治理主體探究平衡機(jī)制面臨安全風(fēng)險(xiǎn)所帶來的機(jī)制性梗阻,并對(duì)逆轉(zhuǎn)路徑進(jìn)行探索。圍繞市場(chǎng)、政府、個(gè)人三大主體構(gòu)建“全鏈貫通-動(dòng)態(tài)調(diào)適”的治理體系,通過權(quán)屬重構(gòu)、技術(shù)賦能與制度創(chuàng)新打通數(shù)據(jù)流通堵點(diǎn),在安全可控前提下釋放數(shù)據(jù)要素價(jià)值,最終服務(wù)于新質(zhì)生產(chǎn)力的培育與數(shù)字生態(tài)的可持續(xù)發(fā)展。
公共數(shù)據(jù)授權(quán)運(yùn)營(yíng)收費(fèi)的正當(dāng)性審視
A review of the legitimacy of public data authorized operation fees
李佳欣
doi: 10.19358/j.issn.2097-1788.2025.11.012
摘要
HTML
PDF(1462KB)
公共數(shù)據(jù)作為兼具治理要素與生產(chǎn)要素雙重屬性的戰(zhàn)略資源,授權(quán)運(yùn)營(yíng)中的收益分配問題逐漸掣肘其開發(fā)利用,收費(fèi)正當(dāng)性受到質(zhì)疑。作為制度設(shè)計(jì)的關(guān)鍵一環(huán),公共數(shù)據(jù)授權(quán)運(yùn)營(yíng)收費(fèi)源于憲法精神與政策法規(guī)的雙重授權(quán),契合公物理論與公私協(xié)力的治理邏輯,滿足要素配置效率與受益者負(fù)擔(dān)原則,其存在具有補(bǔ)償制度運(yùn)行成本、激勵(lì)相關(guān)制度完善、保障制度安全和可持續(xù)的充分正當(dāng)性。基于目的正義、程序正當(dāng)與結(jié)果正義質(zhì)疑提出的“公共屬性背離說”“政府逐利傾向說”“開放空間侵蝕說”均存在不夠周延之處,不足以對(duì)收費(fèi)正當(dāng)性形成有力反駁。
計(jì)算法學(xué)
短視頻沉迷中的智能推薦算法反思與規(guī)制
Reflection and regulation of intelligent recommendation algorithms in short video addiction
楊美玲,潘靜
doi: 10.19358/j.issn.2097-1788.2025.11.013
摘要
HTML
PDF(1573KB)
短視頻沉迷現(xiàn)象的蔓延與智能推薦算法的深度應(yīng)用密切相關(guān),已成為影響個(gè)體發(fā)展與社會(huì)治理的重要議題。智能推薦算法通過“數(shù)據(jù)畫像—強(qiáng)化推送—即時(shí)反饋”的技術(shù)閉環(huán)持續(xù)捕獲用戶注意力,由此誘發(fā)系統(tǒng)性公共健康風(fēng)險(xiǎn)。現(xiàn)行治理框架在算法層面存在顯著滯后性,突出表現(xiàn)為算法責(zé)任認(rèn)定標(biāo)準(zhǔn)模糊、立法供給不足以及監(jiān)管機(jī)制的碎片化。因此,短視頻沉迷中智能推薦算法的治理應(yīng)以技術(shù)特性為基礎(chǔ)、社會(huì)影響為導(dǎo)向、法律回應(yīng)為保障的階梯式治理路徑:在法律層面,明確沉迷認(rèn)定標(biāo)準(zhǔn),構(gòu)建算法風(fēng)險(xiǎn)分級(jí)與三元責(zé)任體系;在監(jiān)管層面,建立算法動(dòng)態(tài)監(jiān)測(cè)機(jī)制,推行監(jiān)管沙盒與階梯式干預(yù);在多元共治層面,完善行業(yè)自律,暢通公眾參與渠道,推進(jìn)國(guó)際規(guī)則對(duì)接。希冀為破解算法驅(qū)動(dòng)型沉迷提供實(shí)操路徑,也為數(shù)字時(shí)代技術(shù)風(fēng)險(xiǎn)的法律規(guī)制提供范式參考。
行業(yè)應(yīng)用
基于可穿戴健康設(shè)備的勸導(dǎo)式設(shè)計(jì)與評(píng)價(jià)
Persuasive design and evaluation based on wearable health devices
孟瑤1,魯琴1,祁春霞1,白楊2
doi: 10.19358/j.issn.2097-1788.2025.11.014
摘要
HTML
PDF(4458KB)
為了探討勸導(dǎo)技術(shù)在可穿戴健康系統(tǒng)中的設(shè)計(jì)、實(shí)現(xiàn)和評(píng)價(jià),研究了與運(yùn)動(dòng)激勵(lì)相關(guān)的勸導(dǎo)設(shè)計(jì),提煉了6條面向運(yùn)動(dòng)的勸導(dǎo)原則:目標(biāo)設(shè)定、自我監(jiān)控、社交影響、正面強(qiáng)化、提醒和建議以及娛樂交互,并據(jù)此設(shè)計(jì)和開發(fā)了一種用于可穿戴設(shè)備的運(yùn)動(dòng)輔助系統(tǒng)。為了評(píng)估勸導(dǎo)設(shè)計(jì)的有效性,招募了25名受試者進(jìn)行為期一周的實(shí)地實(shí)驗(yàn),并對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析。結(jié)果表明,勸導(dǎo)原則在提升受試者對(duì)穿戴系統(tǒng)的接受度方面有積極影響。其中,目標(biāo)設(shè)定、社交影響和正面強(qiáng)化對(duì)運(yùn)動(dòng)激勵(lì)有顯著貢獻(xiàn)。結(jié)合量身定制的勸導(dǎo)原則,可穿戴系統(tǒng)具有促進(jìn)用戶運(yùn)動(dòng)的潛力。